本文介绍了Okapi,用于自然语言的新数据集到可执行的Web应用程序编程接口(NL2API)。此数据集是英文,包含22,508个问题和9,019个独特的API呼叫,涵盖三个域。我们为NL2API定义了新的组成泛化任务,该任务探讨了在推理阶段中的培训中从简单API调用外推开的模型能力。此外,该模型必须生成正确执行的API调用,而不是与现有方法进行正确执行,该方法评估具有占位符值的查询。我们的数据集与大多数现有的组合语义解析数据集不同,因为它是一个非合成数据集,研究了低资源设置中的组成概括。 Okapi是创建现实数据集和基准的一步,用于研究与现有数据集和任务一起学习组成泛化。我们报告了在各种扫描和okapi数据集任务上培训的序列到序列基线模型的泛化能力。当从简单API调用概括到更复杂的API调用时,最佳模型可实现15 \%精确匹配的准确性。这突出了未来研究的一些挑战。 okapi数据集和任务在https://aka.ms/nl2api/data上公开使用。
translated by 谷歌翻译